DevicesWorld: Benchmarking Cross-Device Agents in Heterogeneous Environments
DevicesWorld：异构环境下的跨设备智能体基准
🧭 跨设备 Agent 评估基准
Shanghai Jiao Tong University · Honor Device Co., Ltd
构建统一跨设备基准，含6140个任务，现有最佳Agent成功率仅12.5%
📌 工作参考价值（4 点）
- 在电商/推荐场景中，可借鉴其多端协同任务设计（如手机浏览、PC下单、IoT确认），构建跨设备购物流程的评估集，测试对话/推荐Agent的跨设备信息跟踪与整合能力。
- 任务自动验证机制（基于设备状态和文件检查）可直接用于生成式推荐中跨场景的单元测试，提高评测效率。
- 所发现的Agent典型失败模式（卡在信息获取、混淆源与目标设备、过早终止）为实际系统设计防错策略提供参考，例如增加设备角色校验、强制依赖条件检查。
- 在面向Agent的搜索推荐系统中，引入跨设备依赖的任务可以暴露Agent在分布式环境下的短板，从而针对性地改进多跳推理和状态管理。